Năm 1985, Mã được bổ nhiệm làm giám đốc Bảo tàng Thượng Hải.[2] Khi bảo tàng bị loại khỏi kế hoạch tái thiết 5 năm của Thượng Hải vào năm 1992, Mã đã vận động thị trưởng Hoàng Cúc xây dựng lại bảo tàng. Sau khi nhìn thấy những căn phòng đổ nát của tòa nhà Zhonghui, nơi đặt bảo tàng khi đó, Hoàng đã đồng ý giao một vị trí đắc địa tại Quảng trường Nhân dân, nhưng bảo tàng phải tự gây quỹ xây dựng.[4][5] Mã đã huy động được 25 triệu đô la Mỹ bằng cách cho một nhà phát triển Hồng Kông thuê tòa nhà cũ. Ông cũng thực hiện nhiều chuyến đi nước ngoài để kêu gọi đóng góp, chủ yếu là từ cộng đồng người Thượng Hải trốn sang Hồng Kông sau cuộc cách mạng Cộng sản, quyên góp thêm được 10 triệu đô la Mỹ. Số tiền ấy vẫn không đủ nhưng cuối cùng ông đã thuyết phục được chính quyền thành phố cấp thêm 140 triệu Nhân dân tệ để hoàn thiện tòa nhà.[5]

Bảo tàng mở cửa trở lại vào ngày 12 tháng 10 năm 1996 với sự hoan nghênh rộng rãi và danh tiếng của Mã đã lan ra quốc tế.[1] Ông được nhận Giải thưởng John D. Rockefeller III của Hội đồng Văn hóa Châu Á vào năm đó.[2] Tổng thống Pháp Jacques Chirac đã trao tặng cho Mã Huân chương Bắc Đẩu Bội tinh vào năm 1998,[6] và mời ông đi cùng Chủ tịch Trung Quốc Giang Trạch Dân đến dùng bữa tối riêng với mình tại Pháp.[1] Tờ South China Morning Post của Hồng Kông bình luận rằng Mã dường như đã tự mình "hiện thực hoá Bảo tàng Thượng Hải".[5]